Maschinen sollen Papierkram erledigen: „Kollege KI“ steht auf wackeligen Beinen

Digitalminister Karsten Wildberger (CDU) lässt wenig Gelegenheiten aus, um über sogenannte Künstliche Intelligenz zu sprechen. Sein Plan: KI in die Workflows der öffentlichen Verwaltung bringen und die KI-Branche in Deutschland ankurbeln. Im Blick hat er dabei nicht mehr nur Chatbots wie BärGPT vom CityLab Berlin oder LLMoin des öffentlichen IT-Dienstleisters Dataport aus Hamburg. Der neue Hype ist sogenannte agentische KI.

Um diese flächendeckend in der öffentlichen Verwaltung einzuführen, hat das Bundesministerium für Digitales und Staatsmodernisierung (BMDS) im Februar den Agentic AI Hub gestartet. Die Idee des Hubs: KI-Start-ups entwickeln KI-Tools, zugeschnitten auf die Bedürfnisse von Behörden und Ämtern. Staatssekretär Thomas Jarzombek (CDU) sagt dazu: „Wir wollen Start-ups eine Rampe in die Verwaltung bauen.“

Mit KI-Agenten soll die öffentliche Verwaltung effizienter arbeiten und Verwaltungsverfahren sollen insgesamt schneller werden, teilt das BMDS auf Anfrage mit. Das könne man dadurch erreichen, dass agentische KI die Entscheidungsfindung von Sachbearbeiter:innen unterstützt.

„Kollege KI“

Personal in Behörden ist vielerorts überlastet. Unter anderem liegt das an Personalknappheit. Schon jetzt zeichnet sich ab, dass sich das Problem weiter verschärfen wird, wenn Mitarbeiter:innen aus der Boomer-Generation in den Ruhestand gehen.

Mit KI will das BMDS gegen diese Entwicklung ankommen. Die Idee dahinter ist ein „Kollege KI“. Den solle man in die Verwaltung bringen, sagte Heiko Geue im Kontext des KI-Marktplatzes beim Pressegespräch im November. Er ist Vorsitzender des IT-Planungsrats und Finanz- und Digitalminister des Landes Mecklenburg-Vorpommern. Agentische KI könne ähnlich wie ein:e Mitarbeiter:in damit beauftragt werden, bestimmte Aufgaben selbstständig zu erledigen, so das BMDS gegenüber netzpolitik.org. Generative KI könne eine Aufforderung wie „Schreibe einen Bescheid“ in Text umsetzen.

Agentische KI hingegen generiere keine Inhalte wie Texte, Code oder Bilder, sondern könne Aufgaben übernehmen, etwa Antragsunterlagen auf Vollständigkeit prüfen oder personenbezogene Daten in Dokumenten schwärzen. Die Entscheidung solle am Ende aber immer der Mensch treffen, so das Ministerium.

Kommunale KI-Piloten

Ob KI-Programme Mitarbeiter:innen wirklich entlasten und die Arbeit beschleunigen, hierfür legt das BMDS gegenüber netzpolitik.org keine Belege vor. Auf die Frage, welche KI-Projekte Verwaltungsarbeit übernehmen können sollen, verweist die Pressestelle auf den KI-Marktplatz und die H2KI-Plattform. Diese Plattform nutzt KI um Genehmigungsverfahren abzuwickeln. Laut BMDS sei sie „eine Blaupause für den KI-Einsatz bei der Genehmigung von Infrastrukturprojekten“.

Ähnliche Projekte aus Kommunen wählte das BMDS Anfang März aus. Davon gehen zunächst 18 in die Pilotphase und sollen langfristig Verwaltungen bundesweit zur Verfügung stehen. Das Programm Forml der Städte Frankfurt am Main und Düsseldorf richtet sich etwa an Sachbearbeiter:innen von Anträgen auf einen Wohnberechtigungsschein. Laut Produktbeschreibung ist Forml eine Cloud-Software, die „unstrukturierte Daten aus Dokumenten, Scans oder Bildern“ verarbeitet. Es soll eingehende Anträge „auf Vollständigkeit und Einkommen“ prüfen.

Formfix, entwickelt in Köln, Heinsberg und zwei Berliner Bezirken, soll Antragsprozesse auf Hilfe zur Pflege vereinfachen; sowohl für die Antragstellenden als auch für das Amt, das die eingereichten Unterlagen schneller bearbeiten können soll.

Aus dem Neckar-Odenwald-Kreis stammt Lector.ai. „Mittels Vision-LLMs“ verarbeitet die Software Behördenpost und soll „den hohen manuellen Sortieraufwand großer Dokumentenmengen“ reduzieren.

Mehr als Marketing?

Wie viel Zeit können die Werkzeuge in der Praxis einsparen; wie viel Arbeit machen sie langfristig durch Pflege und Fehler? Während solche Fragen noch unbeantwortet sind, rührt der Digitalminister die Werbetrommel. Im Januar warb er damit, dass die KI-Agenten Genehmigungsverfahren zu über 80 Prozent beschleunigen könnten.

Die Bundestagsabgeordnete Rebecca Lenhard von den Grünen fragte nach, wie er zu dieser Einschätzung komme. Weder Methodik noch Vergleichsmaßstäbe hat der Minister offengelegt. „Für eine so weitreichende Behauptung ist das zu wenig“, kommentiert Lenhard in einem Pressestatement.

Effekte der KI-Nutzung müssten „transparent, nachvollziehbar und belastbar evaluiert werden“. Da KI bereits in Genehmigungsverfahren eingesetzt werde, brauche es umso dringlicher „klare Standards für Qualitätssicherung, Nachvollziehbarkeit und Verantwortlichkeit“, fordert die Abgeordnete.

KI ist nicht neutral

Technisch beruhen agentische und generative KI auf denselben großen Sprachmodellen und teilen deren strukturelle Schwächen: KI ist eine Black Box und liefert Output, der nicht neutral ist, sondern „biased“, verzerrt. Black Box meint, es lässt sich nicht genau nachvollziehen, warum KI-Programme zu einem bestimmten Ergebnis kommen.

Das Bias-Problem besteht darin, dass KI-Systeme auf Trainingsdaten basieren, die ihrerseits von Vorurteilen und Ressentiments geprägt sein können. KI-Output kann daher je nach Kontext diskriminierend sein, rassistisch, ableistisch, sexistisch oder ageistisch.

Dieser Effekt kann sich durch kognitive Verzerrungen bei Menschen verstärken, die mit KI-Erzeugnissen arbeiten. Vorurteile und Ressentiments verbergen sich nicht nur in Trainingsdaten, sondern auch in der Interaktion zwischen Mensch und KI. Welche Fragen Menschen KI stellen, wie sie den Output interpretieren und wie sie darauf reagieren, kann beeinflussen, was diese Systeme tun. Zudem kann der sogenannte Automation Bias dazu führen, dass Menschen die Ergebnisse einer Maschine weniger kritisch hinterfragen als Ergebnisse von Kolleg:innen.

Weiter sind Ergebnisse von KI-Systemen sind nicht verlässlich reproduzierbar. Das macht das Arbeiten nach Grundsätzen wie Nachvollziehbarkeit und Verantwortlichkeit schwer.

Verwaltung muss neutral arbeiten

Wenn Unternehmen mit KI experimentieren, haben sie größere rechtliche Spielräume. Die Verwaltung wiederum muss laut Verfassung neutral, objektiv und gesetzestreu handeln. KI-Systeme sind durch ihre Funktionsweise allerdings nicht in der Lage, Normen anzuwenden oder ethische Verantwortung zu übernehmen – ihre Outputs basieren auf berechneten Wahrscheinlichkeiten. Wie lässt sich das mit der Arbeit der Verwaltung vereinbaren?

David Wagner von der Kanzlei Spirit Legal untersucht, wie die öffentliche Verwaltung KI dennoch in verfassungskonformer Weise nutzen kann. Der Rechtsanwalt beschäftigt sich mit Legal Requirement Engineering, er übersetzt also rechtliche Vorgaben methodisch in technische Anforderungen. Unternehmen regulatorische Anforderungen effizient und rechtskonform in technische Lösungen überführen  Zwar schließe das Grundgesetz den KI-Einsatz nicht aus. Doch bedürfe es technischer und rechtlicher Leitplanken. Ein Baustein könne eine Protokollpflicht sein, die Sachbearbeiter:innen verpflichtet, Eingaben, Ausgaben und eigene Änderungen am Ergebnis zu dokumentieren. Das allein genüge aber nicht.

Das BMDS betont, am Ende treffe immer ein Mensch die Entscheidung. Wagner hält dagegen: Wenn KI-Systeme Anträge vorprüfen oder Bescheide vorbereiten, präge ihr Output die Entscheidung der Sachbearbeiter:innen. Das europäische Datenschutzrecht schränke solche Konstellationen ein. Demnach dürften Entscheidungen gegenüber Betroffenen nicht allein auf automatisierter Verarbeitung beruhen.

Der EuGH habe klargestellt, dass das Verbot auch greife, wenn die Verarbeitung eine menschliche Entscheidung maßgeblich beeinflusse, so Wagner. Menschliche Kontrolle sei ohnehin gefordert. Im Kontext der Verwaltung entbinde sie den Gesetzgeber aber nicht, den Einsatz von KI durch spezielle Rechtsgrundlagen einzuhegen.